Van het oorspronkelijke kasteel van Vierset, dat werd gebouwd in 11de eeuw door de familie de Barse in het hart van de Condroz, is vrijwel niets overgebleven. In 1267 werd het bijna volledig in de as gelegd door prins-bisschop Henri de Gueldre. Het enige overblijfsel ervan is de met schietgaten doorboorde onderkant van de klokkentoren.
Het huidige classicistische gebouw dateert uit de 18de eeuw en werd gebouwd door Charles Albert de Billehé, generaal-majoor van het keizerlijke leger. Drie gevels staan in de slotgracht, de vierde beheerst een groot ereplein, en wordt beklemtoond door een driehoekig fronton uit de 19de eeuw, het toont het wapen van de vroegere eigenaars, Mercy-Argentau, die het kasteel bewoonden van 1818 tot 1877. De gevel aan de zuidelijke slotgracht is een veelhoekige uitsprong rijk, bekroond met een bolvormig dak. Sinds 14 februari 1968 is het kasteel geklasseerd als monument.
Het kasteel van Vierset doet thans dienst als Bed & Breakfast, en kan gehuurd voor evenementen, seminaries, teambuilding en Culturele activiteiten.